Python Öneri Motoru: Matris Ayrıştırmanın Açıklaması

Günümüzün veri odaklı dünyasında öneri motorları her yerde karşımıza çıkmaktadır. Amazon ve Alibaba gibi e-ticaret platformlarında ürün önermekten, Netflix'te film veya Spotify'da şarkı tavsiye etmeye kadar, bu sistemler kullanıcı deneyimlerini kişiselleştirir ve etkileşimi artırır. Bu makale, Python ve Matris Ayrıştırma adı verilen güçlü bir teknik kullanarak bir öneri motoru oluşturmak için kapsamlı bir rehber sunmaktadır.

Öneri Motoru Nedir?

Bir öneri motoru, kullanıcı tercihlerini tahmin eden ve kullanıcıların ilginç bulabileceği öğeleri veya içeriği öneren bir tür bilgi filtreleme sistemidir. Temel fikir, kullanıcının geçmiş davranışlarını (örneğin, satın almalar, derecelendirmeler, göz atma geçmişi) anlamak ve bu bilgiyi gelecekteki tercihlerini tahmin etmek için kullanmaktır.

Öneri Motoru Türleri:

• İçerik Tabanlı Filtreleme: Bir kullanıcının geçmişte beğendiği öğelere benzer öğeler önerir. Örneğin, bir kullanıcı tarihle ilgili belgeseller izlemekten hoşlanıyorsa, sistem diğer tarihi belgeselleri önerebilir.
• İşbirlikçi Filtreleme: Benzer zevklere sahip kullanıcıların tercihlerine dayalı olarak öğeler önerir. İki kullanıcı benzer öğeleri yüksek puanladıysa ve bir kullanıcı yeni bir öğeyi beğendiyse, sistem bu öğeyi diğer kullanıcıya önerebilir.
• Hibrit Yaklaşımlar: Her ikisinin de güçlü yönlerinden yararlanmak için içerik tabanlı ve işbirlikçi filtrelemeyi birleştirir.

Matris Ayrıştırma: Güçlü Bir İşbirlikçi Filtreleme Tekniği

Matris Ayrıştırma, gözlemlenen derecelendirmeleri açıklayan gizli özellikleri keşfetmek için kullanılan güçlü bir işbirlikçi filtreleme tekniğidir. Temel fikir, bir kullanıcı-öğe etkileşim matrisini iki daha düşük boyutlu matrise ayrıştırmaktır: bir kullanıcı matrisi ve bir öğe matrisi. Bu matrisler, kullanıcılar ve öğeler arasındaki temel ilişkileri yakalar.

Matris Ayrıştırmanın Arkasındaki Matematiği Anlamak

Kullanıcı-öğe etkileşim matrisini R olarak belirtelim, burada R_ui, kullanıcı u tarafından öğe i'ye verilen derecelendirmeyi temsil eder. Matris ayrıştırmanın amacı, R matrisini iki matrisin çarpımı olarak yaklaşık olarak hesaplamaktır:

R ≈ P x Q^T

• P, her satırın bir kullanıcıyı ve her sütunun bir gizli özelliği temsil ettiği kullanıcı matrisidir.
• Q, her satırın bir öğeyi ve her sütunun bir gizli özelliği temsil ettiği öğe matrisidir.
• Q^T, öğe matrisinin devriğidir (transpozudur).

P'deki bir satırın (bir kullanıcıyı temsil eden) ve Q'daki bir satırın (bir öğeyi temsil eden) nokta çarpımı, o kullanıcının o öğeye vereceği derecelendirmeyi yaklaşık olarak hesaplar. Amaç, tahmin edilen derecelendirmeler (P x Q^T) ile gerçek derecelendirmeler (R) arasındaki farkı en aza indirecek şekilde P ve Q matrislerini öğrenmektir.

Yaygın Matris Ayrıştırma Algoritmaları

• Tekil Değer Ayrışımı (SVD): Bir matrisi üç matrise ayrıştıran klasik bir matris ayrıştırma tekniğidir: U, Σ ve V^T. Öneri motorları bağlamında, SVD kullanıcı-öğe derecelendirme matrisini ayrıştırmak için kullanılabilir. Ancak, SVD matrisin yoğun olmasını (yani, eksik değer olmamasını) gerektirir. Bu nedenle, eksik derecelendirmeleri doldurmak için genellikle eksik veri tamamlama (imputation) gibi teknikler kullanılır.
• Negatif Olmayan Matris Ayrıştırma (NMF): P ve Q matrislerinin negatif olmama kısıtlamasına sahip olduğu bir matris ayrıştırma tekniğidir. NMF, negatif değerlerin anlamlı olmadığı verilerle (örneğin, belge konu modellemesi) uğraşırken özellikle kullanışlıdır.
• Olasılıksal Matris Ayrıştırma (PMF): Kullanıcı ve öğe gizli vektörlerinin Gauss dağılımlarından çekildiğini varsayan, matris ayrıştırmaya yönelik olasılıksal bir yaklaşımdır. PMF, belirsizlikle başa çıkmak için ilkeli bir yol sağlar ve ek bilgileri (örneğin, kullanıcı nitelikleri, öğe özellikleri) içerecek şekilde genişletilebilir.

Python ile Öneri Motoru Oluşturma: Pratik Bir Örnek

Python ve Surprise kütüphanesini kullanarak bir öneri motoru oluşturmanın pratik bir örneğine dalalım. Surprise, tavsiye sistemleri oluşturmak ve analiz etmek için bir Python scikit'idir. SVD, NMF ve PMF dahil olmak üzere çeşitli işbirlikçi filtreleme algoritmaları sunar.

Surprise Kütüphanesini Yükleme

Öncelikle, Surprise kütüphanesini yüklemeniz gerekir. Bunu pip kullanarak yapabilirsiniz:

            pip install scikit-surprise
            

              
                Copy
              
            
          

Veriyi Yükleme ve Hazırlama

Bu örnek için, öneri algoritmalarını değerlendirmek için popüler bir veri seti olan MovieLens veri setini kullanacağız. Surprise kütüphanesi, MovieLens veri setini yüklemek için yerleşik destek sağlar.

            
from surprise import Dataset
from surprise import Reader

# Load the MovieLens 100K dataset
data = Dataset.load_builtin('ml-100k')

            

              
                Copy
              
            
          

Kendi verileriniz varsa, bunu Reader sınıfını kullanarak yükleyebilirsiniz. Reader sınıfı, veri dosyanızın formatını belirtmenize olanak tanır.

            
from surprise import Dataset
from surprise import Reader

# Define the format of your data file
reader = Reader(line_format='user item rating', sep=',', rating_scale=(1, 5))

# Load your data file
data = Dataset.load_from_file('path/to/your/data.csv', reader=reader)

            

              
                Copy
              
            
          

Modeli Eğitme

Veriyi yükleyip hazırladığımıza göre, modeli eğitebiliriz. Bu örnekte SVD algoritmasını kullanacağız.

            
from surprise import SVD
from surprise.model_selection import train_test_split

# Split the data into training and testing sets
trainset, testset = train_test_split(data, test_size=0.25)

# Initialize the SVD algorithm
algo = SVD()

# Train the algorithm on the training set
algo.fit(trainset)

            

              
                Copy
              
            
          

Tahmin Yapma

Modeli eğittikten sonra, test seti üzerinde tahminler yapabiliriz.

            
# Make predictions on the testing set
predictions = algo.test(testset)

# Print the predictions
for prediction in predictions:
    print(prediction)

            

              
                Copy
              
            
          

Her tahmin nesnesi kullanıcı kimliğini, öğe kimliğini, gerçek derecelendirmeyi ve tahmin edilen derecelendirmeyi içerir.

Modeli Değerlendirme

Modelin performansını değerlendirmek için Kök Ortalama Kare Hatası (RMSE) ve Ortalama Mutlak Hata (MAE) gibi metrikleri kullanabiliriz.

            
from surprise import accuracy

# Compute RMSE and MAE
accuracy.rmse(predictions)
accuracy.mae(predictions)

            

              
                Copy
              
            
          

Belirli bir Kullanıcı için Önerilerde Bulunma

Belirli bir kullanıcı için önerilerde bulunmak amacıyla algo.predict() yöntemini kullanabiliriz.

            
# Get the user ID
user_id = '196'

# Get the item ID
item_id = '302'

# Predict the rating
prediction = algo.predict(user_id, item_id)

# Print the predicted rating
print(prediction.est)

            

              
                Copy
              
            
          

Bu, '196' numaralı kullanıcının '302' numaralı öğeye vereceği derecelendirmeyi tahmin edecektir.

Bir kullanıcı için en iyi N öğeyi önermek amacıyla, kullanıcının henüz derecelendirmediği tüm öğeler arasında dolaşabilir ve derecelendirmeleri tahmin edebilirsiniz. Ardından, öğeleri tahmin edilen derecelendirmelere göre sıralayabilir ve en iyi N öğeyi seçebilirsiniz.

            
from collections import defaultdict


def get_top_n_recommendations(predictions, n=10):
    """Return the top N recommendations for each user from a set of predictions."""

    # First map the predictions to each user.
    top_n = defaultdict(list)
    for uid, iid, true_r, est, _ in predictions:
        top_n[uid].append((iid, est))

    # Then sort the predictions for each user and retrieve the k highest ones.
    for uid, user_ratings in top_n.items():
        user_ratings.sort(key=lambda x: x[1], reverse=True)
        top_n[uid] = user_ratings[:n]

    return top_n


top_n = get_top_n_recommendations(predictions, n=10)

# Print the recommended items for each user
for uid, user_ratings in top_n.items():
    print(uid, [iid for (iid, _) in user_ratings])

            

              
                Copy
              
            
          

Öneri Motorunu Optimize Etme

Öneri motorunun performansını optimize etmenin birkaç yolu vardır:

Hiperparametre Ayarlama

Çoğu matris ayrıştırma algoritması, performansı artırmak için ayarlanabilen hiperparametrelere sahiptir. Örneğin, SVD algoritması, faktör sayısı (n_factors) ve öğrenme oranı (lr_all) gibi hiperparametrelere sahiptir. En uygun hiperparametreleri bulmak için grid search veya randomized search gibi teknikleri kullanabilirsiniz.

            
from surprise.model_selection import GridSearchCV

# Define the parameters to tune
param_grid = {
    'n_factors': [50, 100, 150],
    'lr_all': [0.002, 0.005, 0.01],
    'reg_all': [0.02, 0.05, 0.1]
}

# Perform grid search
gs = GridSearchCV(SVD, param_grid, measures=['rmse', 'mae'], cv=3)
gs.fit(data)

# Print the best parameters
print(gs.best_params['rmse'])

# Print the best score
print(gs.best_score['rmse'])

            

              
                Copy
              
            
          

Düzenlileştirme

Düzenlileştirme, aşırı öğrenmeyi (overfitting) önlemek için kullanılan bir tekniktir. Aşırı öğrenme, modelin eğitim verilerini çok iyi öğrenmesi ancak görünmeyen veriler üzerinde zayıf performans göstermesi durumunda ortaya çıkar. Yaygın düzenlileştirme teknikleri arasında L1 düzenlileştirmesi ve L2 düzenlileştirmesi bulunur. Surprise kütüphanesi, düzenlileştirme için yerleşik destek sağlar.

Soğuk Başlangıç Problemiyle Başa Çıkma

Soğuk başlangıç problemi, sistemin yeni kullanıcılar veya yeni öğeler hakkında sınırlı veya hiç bilgiye sahip olmadığı durumlarda ortaya çıkar. Bu, doğru öneriler sunmayı zorlaştırabilir. Soğuk başlangıç problemini ele almak için birkaç teknik vardır:

• İçerik Tabanlı Filtreleme: Kullanıcı daha önce onlarla etkileşimde bulunmamış olsa bile, öğeleri özelliklerine göre önermek için içerik tabanlı filtrelemeyi kullanın.
• Hibrit Yaklaşımlar: Her ikisinin de güçlü yönlerinden yararlanmak için işbirlikçi filtrelemeyi içerik tabanlı filtreleme ile birleştirin.
• Bilgi Tabanlı Öneri: Önerilerde bulunmak için kullanıcılar ve öğeler hakkında açık bilgileri kullanın.
• Popülerlik Tabanlı Öneri: Yeni kullanıcılara en popüler öğeleri önerin.

Ölçeklenebilirlik

Büyük veri setleri için matris ayrıştırma, hesaplama açısından maliyetli olabilir. Matris ayrıştırmanın ölçeklenebilirliğini artırmak için birkaç teknik vardır:

• Dağıtık Hesaplama: Hesaplamayı paralelleştirmek için Apache Spark gibi dağıtık hesaplama çerçevelerini kullanın.
• Örnekleme: Veri setinin boyutunu azaltmak için örnekleme tekniklerini kullanın.
• Yaklaşım Algoritmaları: Hesaplama karmaşıklığını azaltmak için yaklaşım algoritmalarını kullanın.

Gerçek Dünya Uygulamaları ve Küresel Hususlar

Matris ayrıştırma öneri motorları, çok çeşitli endüstrilerde ve uygulamalarda kullanılmaktadır. İşte birkaç örnek:

• E-ticaret: Kullanıcılara geçmiş satın alımlarına ve göz atma geçmişlerine göre ürünler önermek. Örneğin, Almanya'da yürüyüş ekipmanı satın alan bir kullanıcıya uygun kıyafetler, yerel patikaların haritaları veya ilgili kitaplar önerilebilir.
• Medya ve Eğlence: Kullanıcılara izleme ve dinleme alışkanlıklarına göre filmler, TV şovları ve müzik önermek. Japonya'da anime seven bir kullanıcıya yeni diziler, benzer türler veya ilgili ürünler önerilebilir.
• Sosyal Medya: Kullanıcılara ilgi alanlarına ve sosyal bağlantılarına göre arkadaşlar, gruplar ve içerikler önermek. Brezilya'da futbolla ilgilenen bir kullanıcıya yerel futbol kulüpleri, ilgili haber makaleleri veya taraftar grupları önerilebilir.
• Eğitim: Öğrencilere öğrenme hedeflerine ve akademik performanslarına göre kurslar ve öğrenim materyalleri önermek. Hindistan'da bilgisayar bilimi okuyan bir öğrenciye çevrimiçi kurslar, ders kitapları veya araştırma makaleleri önerilebilir.
• Seyahat ve Turizm: Gezginlere tercihlerine ve seyahat geçmişlerine göre destinasyonlar, oteller ve aktiviteler önermek. ABD'den İtalya'ya bir gezi planlayan bir turiste popüler yerler, restoranlar veya yerel etkinlikler önerilebilir.

Küresel Hususlar

Küresel kitleler için öneri motorları oluştururken aşağıdaki faktörleri dikkate almak önemlidir:

• Kültürel Farklılıklar: Kullanıcı tercihleri farklı kültürler arasında önemli ölçüde değişebilir. Bu farklılıkları anlamak ve önerileri buna göre uyarlamak önemlidir. Örneğin, ABD'deki bir kullanıcı için diyet önerileri, Çin'deki bir kullanıcı için olanlardan farklı olabilir.
• Dil Desteği: Öneri motoru, farklı dilsel geçmişlere sahip kullanıcılara hitap etmek için birden fazla dili desteklemelidir.
• Veri Gizliliği: Farklı ülkelerdeki veri gizliliği düzenlemelerine uymak önemlidir. Örneğin, Avrupa Birliği'ndeki Genel Veri Koruma Yönetmeliği (GDPR), kuruluşların kişisel verilerini toplamadan ve işlemeden önce kullanıcılardan açık rıza almasını gerektirir.
• Zaman Dilimleri: Önerileri zamanlarken ve bildirimler gönderirken farklı zaman dilimlerini göz önünde bulundurun.
• Erişilebilirlik: Öneri motorunun engelli kullanıcılar için erişilebilir olduğundan emin olun.

Sonuç

Matris Ayrıştırma, öneri motorları oluşturmak için güçlü bir tekniktir. Temel prensipleri anlayarak ve Surprise gibi Python kütüphanelerini kullanarak, kullanıcı deneyimlerini kişiselleştiren ve etkileşimi artıran etkili öneri sistemleri oluşturabilirsiniz. Öneri motorunuzun performansını optimize etmek için hiperparametre ayarlama, düzenlileştirme, soğuk başlangıç problemleriyle başa çıkma ve ölçeklenebilirlik gibi faktörleri göz önünde bulundurmayı unutmayın. Küresel uygulamalar için, herkes için olumlu bir kullanıcı deneyimi sağlamak amacıyla kültürel farklılıklara, dil desteğine, veri gizliliğine, zaman dilimlerine ve erişilebilirliğe dikkat edin.

İleri Okuma

• Surprise Kütüphanesi Dokümantasyonu: http://surpriselib.com/
• MovieLens Veri Seti: https://grouplens.org/datasets/movielens/
• Matris Ayrıştırma Teknikleri: İşbirlikçi filtreleme için Matris Ayrıştırmanın farklı varyasyonlarını ve optimizasyonlarını araştırın.